Reliable AI-Assisted Decisions via Selective Auditing
通过选择性审计实现可靠的 AI 辅助决策
🧭 在线决策监控 · 选择性人工审计
University of Toronto · Stanford University · University of California, Berkeley
提出在线选择性审计框架，在控制未审计 AI 错误比例低于阈值的同时最小化人工审计频率
📌 工作参考价值（4 点）
- 在电商/推荐场景中，AI 生成的商品描述、推荐理由或 Agent 操作常带有 confidence score；可借鉴该框架做选择性人工审核：设定业务可接受的未纠错比例 α，用在线阈值动态决定哪些 case 送审，减少全量审核。
- 算法无分布假设，对 i.i.d. 和对抗性流量都有理论保证，适合电商大促、恶意刷单等非平稳流量下的审核策略。
- 若系统由“生成 Agent + 校验 Agent”组成，可把校验分数作为 confidence score，接入该方法自动升级高风险决策；阈值无需重新训练，直接在线调整。
- 工程上可作为轻量级后处理模块：不改变原有模型，只需输出 score，与现有规则/模型融合成本低；实验表明在 LLM 有害请求过滤、数据标注等任务中能显著降低人工审核量。